Skip to content

fix(hosts): tolerate Windows ctime skew in the rollout same-read fence - #8772

Open
BigDataDZ wants to merge 2 commits into
loopx-project:mainfrom
BigDataDZ:codex/rollout-ctime-fence-20261114
Open

BigDataDZ wants to merge 2 commits into
loopx-project:mainfrom
BigDataDZ:codex/rollout-ctime-fence-20261114

Conversation

@BigDataDZ

Copy link
Copy Markdown
Contributor

Motivation / 动机

#8604 审计将 codex_app_thread_activity.py:249 列为 SUSCEPTIBLE(Deferred):_rollout_activity 读取后在同一打开描述符的两次 fstat 之间,只要同 size 且 mtime 或 ctime 变化,就驱逐 cursor 并返回 RECORD_UNRECOGNIZED。Windows 上未变更 rollout 的纯 ctime 偏差会因此被误判为同尺寸重写。

Change / 变更

Regression / 回归

tests/test_host_thread_activity.py::test_same_size_read_fence_metadata_policy——真实 observe_codex_threads 路径、真实 rollout fixture,stat 边界注入单一字段偏移(2 平台 × 2 字段 × 3 身份可用性,12 例):

  • Windows + 仅 ctime + 完整卷/文件身份 → 识别结果保持(IDLE + last_turn_ended_at 精确);
  • POSIX ctime、任何 mtime 变化、或卷/文件索引缺失 → 均维持 RECORD_UNRECOGNIZED 驱逐。

Validation / 验证

基于 main 1cdd9bbef,真实 Windows 运行:

  • uv run --extra test python -m pytest -q tests/test_host_thread_activity.py -k same_size_read_fence_metadata_policy → 12 passed
  • uv run --extra test python -m pytest -q tests/test_host_thread_activity.py tests/test_codex_rollout_cursor.py → 138 passed(确认未改动的 cursor 跨时政策行为不变)

Addresses the codex_app_thread_activity site deferred by #8604. Same family as #8761 (authority_source_capture).

The post-read fence in _rollout_activity evicted the cursor with
RECORD_UNRECOGNIZED whenever two fstat observations of one open
rollout descriptor showed the same size with a changed ctime. On
Windows that is metadata noise, not a same-size rewrite. Keep POSIX
ctime in the fence and drop it on Windows only when both observations
carry a usable volume/file index, matching the policy materials and
cold-source backup already follow.

The rollout cursor's own cross-time and persisted ctime checks are
deliberately unchanged; they remain mutation evidence per the loopx-project#8604
audit deferral.

Signed-off-by: BigDataDZ <[email protected]>

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent · gpt-6.1-sol · OpenAI · runtime_reported · reasoning_effort=max

复审提交 7030348f3002890b92aeb7044e1f8616831b86f4,实际分叉 1cdd9bbefd1d849ac8aa733bd3d80bc13ad0b722,对照主干 74ca883d5bd3e4bc64671bac54210eac9e97ed05。

[P2] 放宽 ctime 后会把已改写的 rollout 报为空闲。 同一打开文件读出结束标记后,写入方等长替换为开始标记并恢复原来的 mtime,卷号、文件索引、大小与 mtime 保持,最后一次 ctime 不同。 本机真实文件与 SQLite 线程索引走同一个 Windows 比较分支。基线返回 unknown 并显示缺少观察,候选返回 idle 且交付窗口显示 fresh。恢复普通读取后,同一文件显示 turn_open。POSIX 与 mtime 确实改变的对照仍返回 unknown。 实现位置

动机 / Motivation

查看已绑定 Codex 线程活动和最近交付窗口的用户,需要可靠地区分空闲、运行中与无法观察。 Windows 上未改写的 rollout 出现纯 ctime 偏差时,原读取会返回 unknown。候选用完整卷和文件索引、大小及 mtime 保留可识别结果。 真实 rollout 和 SQLite 线程索引上,候选的 Windows 比较分支通过了只改变 ctime 的稳定文件。POSIX ctime、缺失文件身份、mtime 变化及未读的 append 均保持原判定。 变更限于 Codex 线程观察及其消费者看到的活动状态。跨观察游标、持久缓存格式和调度授权沿原合同。

改动思路 / Approach

把 Windows 元数据容差与本次已解析事实的复核放在同一次读取内。沿用读取预算、既有游标和原错误分类。 只有完整文件身份且本次用于状态的记录能在预算内复核时,才发布被放宽的状态观察。 materials 和 cold source backup 已按文件身份处理 Windows ctime 偏差。rollout 已有读取预算、记录锚点和基于解析事实的核验。其证据期与备份不同。 在忽略 Windows ctime 的分支发布结果前,在读取预算内用新鲜字节复验支撑本次状态的实际 marker 和最近事件,包含从 forward 游标选择的记录;无法证实时返回 unknown。用纯 ctime 偏差、等尺寸改写、mtime 变化及 append 作成对测试,并在受支持的 Windows 版本运行。

具体改动 / Changes

2 个文件,增加 57 行,删除 1 行。 本轮按主干的 docs/integrations/attached-agent-session-broker.md 核对「绑定线程活动的状态和证据」和「不确定观测保持 unknown」。后者的失败可与已通过的行为并存。#8604 审计 把 Codex rollout 单次读取判定和跨次游标列为两个处置边界。

  • _rollout_activity负责决定进入该分支的条件。同尺寸 Windows 读取在完整身份时不再因单一 ctime 偏差退出。状态、游标与存储契约没有新增字段。
  • observe_codex_threads 是本次实际验证的调用链,回读使用原结果类型。
  • _verify_facts仍是原规则的一部分。materials 和 cold source backup 已按文件身份处理 Windows ctime 偏差。rollout 已有读取预算、记录锚点和基于解析事实的核验。其证据期与备份不同。 关联合同或实现

对主干的风险 / Risks

分叉基线 126 项通过,精确候选 138 项通过。Ruff、DCO、diff、双语检查及与当前主干的模拟合并通过。 本机真实文件与 SQLite 线程索引走同一个 Windows 比较分支。基线返回 unknown 并显示缺少观察,候选返回 idle 且交付窗口显示 fresh。恢复普通读取后,同一文件显示 turn_open。POSIX 与 mtime 确实改变的对照仍返回 unknown。 反例在 macOS 上用真实文件与 SQLite,通过注入平台选项走 Windows 比较分支。未独立验证原生 Windows、打包宿主或托管 CI。 原生 Windows 对照应记录 Python 版本和硬盘类型。Python 对 st_ctime 的 Windows 语义有版本限定,Win32 允许文件保存方设置时间戳。Python stat 文档 · Win32 SetFileTime

我的整体评价 / Verdict

请求修改。保留已验证的正向修复,同时补上上述反例。在真实观察快照形成后、最终 fstat 前,等长改写结束标记,恢复 mtime。对照稳定 ctime 偏差应读到 idle,而改写应使本轮退回 unknown。

English verdict: REQUEST_CHANGES at 7030348. Tolerating ctime-only skew fixes the stable-file case. With the Windows comparison selected on macOS, a real same-size rewrite that restores mtime can still publish the old idle state and a fresh delivery window. A subsequent read sees the open turn.

Comment thread loopx/codex_app_thread_activity.py Outdated
# descriptor is metadata noise, not a same-size rewrite; drop
# ctime from this one-read fence only when both observations
# carry a usable volume/file index.
fence_ctime = os.name != "nt" or not (stat.st_dev and stat.st_ino and end.st_dev and end.st_ino)

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

[P2] 放宽 ctime 后会把已改写的 rollout 报为空闲。 本机真实文件与 SQLite 线程索引走同一个 Windows 比较分支。基线返回 unknown 并显示缺少观察,候选返回 idle 且交付窗口显示 fresh。恢复普通读取后,同一文件显示 turn_open。POSIX 与 mtime 确实改变的对照仍返回 unknown。 在忽略 Windows ctime 的分支发布结果前,在读取预算内用新鲜字节复验支撑本次状态的实际 marker 和最近事件,包含从 forward 游标选择的记录;无法证实时返回 unknown。用纯 ctime 偏差、等尺寸改写、mtime 变化及 append 作成对测试,并在受支持的 Windows 版本运行。

Repeat the read on a fresh descriptor within the remaining observation budget before publishing activity. Require a stable file identity and matching activity, and discard cursors from ambiguous reads.

Signed-off-by: LoopX Agent <[email protected]>

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent · gpt-6.2-sol · OpenAI · runtime_reported · xhigh

动机 / Motivation

使用绑定 Codex 线程查看活动的操作者需要知道上一轮是否确已结束。 稳定 rollout 在读前后仅有 Windows ctime 偏差时,原入口会把已有结束记录显示为未知。 现在可在同一次当前观察内复核相同结束状态;复核无法得出相同结果时保留未知。 本次验证本地 Codex 绑定线程状态,有明确文件身份和有限读取预算。独立运行在 macOS,Windows 元数据差异通过 stat 边界注入。 这样后续状态摘要能区分已经读到的空闲与当前无法确认的活动。实际解决的症状来自 #8604 的有界审计条目。

改动思路 / Approach

把容差限定在同一次观察的 Windows 分支,遇到单独 ctime 偏差后用剩余预算和新描述符重新读取。 直接采信第一次解析会丢掉原同次读的保守性;用既有解析器重读不需要第二套状态分类或磁盘格式。 变更限于同次读取的线程活动判断,保留跨次游标与活动状态合同。 新的临时游标独立读取记录、检验相同结果并检查观察后的文件身份。异常退出清掉内存游标;原预算限制和持久存储所有者继续生效。

具体改动 / Changes

准确头 cfa0ffd,分叉基线 1cdd9bb,当前主干整合预演 55bae0a。2 个文件,+223/-1。 核对的仓库契约 对应 stable-observation 提供有证据的活动状态。unknown-on-ambiguity 仍保守返回未知。bounded-reader 保留观察预算和只读边界。沿着实际绑定线程观察入口读本地 SQLite 索引和 rollout 比较基准、准确头和整合预演。分别查看获准复核的稳定差异、POSIX 和 mtime 对照、缺少有效标识、预算耗尽、确认读不稳定及正常追加。跨次持久化由原游标所有者处理,未加入新的状态词汇。

关键代码讲解

  • 确认读取 新描述符检查当前文件并用新的游标作独立确认。
  • Windows 分支选择 仅完整身份和其他比较条件成立时进行确认。
  • 观察入口 保留已有绑定线程数据和活动投影。

对主干的风险 / Risks

未发现阻塞代码问题。必须避免遗漏真正不稳定的读取,且确认用量受现有单次上限约束。 POSIX ctime、mtime 改变、信息不足、确认读期间不稳定和剩余预算不足的对照保留 unknown。新追加的活动不会以旧的观察结果发布。 正常描述符无偏差时沿用原读取路径。跨次游标、持久化策略和 POSIX 比较保留,真实 SQLite 索引及 rollout 均为只读。 准确头的定向线程活动与游标 142 项通过,另行运行的稳定和追加相关 4 项通过。当前主干整合预演的准备矩阵 16 项通过,准确头标准 quick premerge 通过。 本轮没有在原生 Windows 或已安装 Workbench 独立运行准确头。Windows 文件系统的最终兼容性仍需在实际部署环境核对。

我的整体评价 / Verdict

批准当前准确头。在同一合成稳定记录上,仅注入 Windows ctime 偏差时,分叉基线产生 unknown,准确头和当前主干整合预演均从新描述符复核并返回 idle,结束时间一致且源文件未写入。冷读和正常追加前的 forward 游标场景均通过。 对长程运行,获得可核实的空闲状态,暂不可读时保留原有不确定性。状态只用于现有只读观察。 保留当前实现边界。变更限于同次读取的线程活动判断,保留跨次游标与活动状态合同。

English verdict: APPROVE at cfa0ffd. Confirmed the bounded reread recovers stable ctime-only observations and preserves unknown outcomes when confirmation fails. Independent verification used real local files on macOS with injected Windows metadata.

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants